大家應該沒想到還有第3篇吧XD
（是你最近一兩天都沒發文吧！

接著我會介紹一些看起來很有趣的網路模型，但不會全部講

Generative adversarial networks

這是一個跟前面都不一樣的網路模型，他是由一對網路模型一起運作的，他可以包含任兩種網路，不過通常是feed-forward跟convolution neural network，一個網路會負責產生資料，另一個則負責對這些資料做鑑別，生產網路 (generative network)會將產生出來的資料作為辨別網路 (discriminating network)的訓練資料，辨別網路的預測結果會合併計算在生產網路的error中。這樣創造了一個競爭的情境，讓辨別網路可以辨識是否為真實資料或者是產生的資料，也讓生產網路可以生成幾乎無法區分真實性的結果。這樣的網路模型十分難訓練，你不需要訓練兩個網路，你需要的是讓他們兩者達成動態的平衡，如果有任何一邊較強的話就無法收斂。

Recurrent neural networks

大家看到recurrent的部份有什麼樣的想法呢？
一開始看起來就像是feed-forward network加上了指向自己的節點，這其實跟電腦架構中底層的flip-flop有點相似，共同點是：自己會連結到自己，這樣的特性讓網路模型有了記憶性。
這個模型不只會從input layer讀進資料，也會從node本身讀取資料，這也代表訓練資料進入網路的順序是至關重要的。基本上這個網路模型可以應用在非常多的領域，即使很多資料並不具有時間軸，不過可以表達成一個序列，並且訓練網路去預測序列。

Long / short term memory

針對recurrent network的vanishing / exploding gradient problem做處理，也就是在recurrent network中會因為權重指數地下降導致訓練的速度變慢，而這個節點也變得沒有意義。這個網路直接引入了memory cell，資訊會有一個gate去決定到底要不要改寫這個memory cell裡的記憶。這個模型被證明可以記憶很多複雜的序列，像是寫出莎士比亞或是譜曲。

Neural Turing machines

我個人覺得這個網路模型很有趣，你可以觀察到他是由feed-forward neural network配上一些memory cell所組成的，也就是有一部份試圖模擬turing machine的state machine，另一部份則模擬了紙帶的記憶功能。他試圖結合電子儲存設備的效能跟永久性還有神經網路的效能跟計算能力，這基本是一個turing complete的抽象模型。我是蠻期待他可以在電路上實作出來的，甚至是未來的量子電腦實作。

Support vector machines

基本上就是SVM的神經網路版本，可以藉由設定不同的activation function去調整是做二元分類問題或是迴歸問題。大家可以欣賞一下XD

Kohonen networks

Self-organising map (SOM)的神經網路版本，不過SOM本身的模型也很像神經網路就是了，利用compititive learning來分類而不需要監督。當input進到網路中，網路會評估哪一個節點跟input最接近，而這些節點會自動調整去fit input，調整的過程中會連帶影響鄰近的節點，鄰近節點受影響的程度取決於他們離最接近input data的節點的距離。